最近，一直在做網絡爬蟲相關的東西。 看了一下開源C++寫的larbin爬蟲，仔細閱讀了里面的設計思想和一些關鍵技術的實現。 1、larbin的URL去重用的很高效的bloom filter算法 ...

TXT文件： txt是微軟在操作系統上附帶的一種文本格式，文件以.txt為后綴。 從txt文件中讀取數據： 將數據寫入txt文件： 注：a表示appen ...

scrapy-redis是一個基於redis的scrapy組件，通過它可以快速實現簡單分布式爬蟲程序，該組件本質上提供了三大功能： scheduler - 調 ...

最近在看爬蟲方面的知識，看到崔慶才所著的《Python3網絡爬蟲開發實戰》一書講的比較系統，果斷入手學習。下面根據書中的內容，簡單總結一下爬蟲的基礎知識，並且實際練習一下。詳細內容請見：https:/ ...

前言： 網絡爬蟲抓取下來的頁面，都是大文本，應該如何存儲呢？ 我覺得，如果存儲在mysql 或是 sqlserver這種關系型數據庫當中，應該不是很恰當的。首先，頁面相對獨立，基本沒什么 ...

分布式網絡爬蟲的研究與實現 摘 要 隨着互聯網的高速發展，在互聯網搜索服務中，搜索引擎扮演着越來越重要的角色。網絡爬蟲是搜索引擎系統中十分重要的組成部分，它負責從互聯網中搜集網頁 ...

題外話： 很久沒寫博客了，因為前一段時間過年在家放假，又因為自己保研了，所以一直比較閑。整個假期，基本都在准備畢業設計的相關內容。我畢業設計的方向是關於搜索引擎的，因此，期間閱讀了大量相關論 ...

URL隊列被爬行進程賦予一個URL（或者來自於其他爬行進程的主機分離器）。它維護了一個包含大量URL的隊列，並且每當有爬蟲線程尋找URL的時候，它都會按照某種順序重新排序。以何種順序返回隊列中 ...

在《爬蟲基礎以及一個簡單的實例》一文中，我們使用了正則表達式來解析爬取的網頁。但是正則表達式有些繁瑣，使用起來不是那么方便。這次我們試一下用Xpath選擇器來解析網頁。 首先，什么是XPath ...

urllib模塊 urllib是Python自帶的一個用於爬蟲的庫，其主要作用就是可以通過代碼模擬瀏覽器發送請求。其常被用到的子模塊在Python3中的為urllib.request和urllib. ...